xPRT：跨段落检索预训练
🧭 无监督检索预训练 · 跨段落对比学习
Microsoft Research
提出无监督跨段落检索预训练框架 xPRT，利用文档内跨段落信号，在 MTEB 上平均超越最强基线 3.2%
📌 工作参考价值（4 点）
- 电商搜索/推荐中的稠密检索模型可用商品详情页、用户评论等长文档内部段落关系构造无监督对比对，无需标注 query-doc 数据，降低训练成本。
- 在已有无监督 checkpoint 上继续预训练时，直接使用常规对比学习目标可能性能回退，xPRT 的跨段落信号能带来互补增益，对检索模型持续预训练有参考价值。
- 工程实现上，可从同一文档内采样正负段落，利用标题、章节、评论段落等结构信息生成难负样本，增强语义区分能力。
- 若业务中已有 RAG 或搜索系统，可将 xPRT 作为额外预训练任务叠加到现有流程，提升检索器在语义匹配任务上的泛化性。
上下文嵌入：超越单一黄金块的分级蒸馏
🧭 上下文嵌入训练与评测 ★ 深度解读
Perplexity AI · turbopuffer
用查询感知压缩模型蒸馏分级 chunk 相关性替代 gold-chunk 标注，发布 9B/0.6B 模型并刷新多基准 SOTA
📌 工作参考价值（4 点）
- 用 query-aware 压缩模型/reranker 产生 token 级 graded relevance，聚合为任意 chunk 软标签，替代二值 gold chunk；既避免标注绑定分块，又让支撑证据不再被当负样本。电商搜索、长商品详情、合同、政策文档检索可复用这套在线蒸馏链路。
- 文档级检索可采用 multi-vector + MaxSim：每个文档保存多个 chunk embedding，查询-文档相似度用最高 chunk 分数；在 RAG/商品召回中比单向量更细粒度，且不增加 chunk 数存储。
- 评测不要只看单一 gold chunk，应标注 answer groups + evidence groups，并报告 Answer@K、Evidence recall、Tokens to full coverage；这能暴露排序在 aspect coverage 与读取代价上的真实差异。
- 大模型蒸馏小模型保持共享 embedding space，让索引侧用 9B、查询侧用 0.6B，配合 MRL 1024/2048 维度 + int8 量化，可在不同存储/延迟预算下切换。
稠密检索中方向性后验反馈融合的查询改写
🧭 查询改写 · 稠密检索向量融合 ★ 深度解读
Tsinghua University · Renmin University of China
把反馈向量转为原查询切空间上的方向性约束并做后验融合，训练无关地提升稠密检索查询改写
📌 工作参考价值（4 点）
- 可直接作为线上零训练后处理：对已有 query embedding 和 top-K 召回/LLM 生成反馈 embedding，只做切空间方向提取 + 闭式融合，不 fine-tune 编码器，也不改文档索引。
- 反馈置信度用两层控制：局部用 query-feedback similarity 的 MAD 鲁棒归一化再 sigmoid；集合级用证据向量均值强度 S 与方差 V 算 coherence，并乘以平均局部质量，可避免噪音 PRF 或 LLM 生成反馈带偏改写。
- 更新幅度用最大转角 θ_up 和集合置信度 g 做 cap：q' = cosφ q + sinφ δ/||δ||；对电商搜索中短 query、歧义 query，可限制最大转角在 10-30° 量级，避免改写过于激进。
- 复杂度 O(K²D+K³)，实际 K=5 较稳；PRF 下 K 太大会噪声变大，GRF 下可适当增大，做实验时按反馈质量分别调 K。
复杂 Agentic Memory 是否总是必要？朴素 RAG 比我们想的更强
🧭 长对话记忆中朴素 RAG 基线对比复杂 Agentic Memory
Xi'an Jiaotong University · Shanghai Jiao Tong University · Zhejiang University · The Chinese University of Hong Kong
在长对话理解中，基于原始历史的朴素 RAG 在多数基准上超越复杂 agentic memory，并揭示保留原始信息的重要性
📌 工作参考价值（4 点）
- 在电商客服、用户 long-term profile、Agent 对话等场景，可以先实现朴素 RAG：直接对原始历史做 dense retrieval + reranking，再交给 LLM 生成回答，工程成本远低于构建复杂记忆系统，却可能获得更高准确率。
- 保留原始交互序列和日志很重要。复杂记忆转换（如 summary、知识图谱、记忆更新）会引入信息损失，导致后续推导所需的依赖路径丢失；在推荐/客服场景应保留 raw evidence 作为检索源。
- 证据覆盖率比单条证据利用率更关键。朴素 RAG 可能检索到更多冗余但相关证据，即使部分证据未被 LLM 充分利用，也能通过提升 recall 来弥补 precision 的不足，因此评估记忆系统时不要只优化 top-k 精度。
- 重排序在 raw-history RAG 中是有效的 trick：先 dense retrieval 提高 recall，再用 reranker 压榨 top-k 质量，可以在低 ingestion 成本下达到甚至超越复杂记忆的表现。
学习何时思考：效用引导的自适应推理用于高效文本检索
🧭 推理增强检索 · 自适应深度 ★ 深度解读
Carnegie Mellon University · University of Pittsburgh
提出 AURA，用检索特异性监督中间推理状态并训练效用估计器，在推理时自适应停止，以更少步骤取得最优检索
📌 工作参考价值（4 点）
- 电商搜索/推荐中，对 query 改写、LLM 生成式召回、Agent 推理链路不要无限展开。用线上日志构造“正样本 + 曝光未点击/难负样本”，在每个推理/改写中间态计算 specificity margin 作为 utility label 监督，可抑制过度改写和语义漂移；论文证明该信号与 corpus nDCG 相关达 0.97。
- 部署时训练一个轻量 MLP（10M）预测当前上下文 embedding 的检索/推荐效用，线上连续 p 步不提升就停止生成。论文中延迟从 4.6s 降到 0.76s，指标反升；这比 full trajectory 或按 token entropy 停止都更可靠。
- 多任务联合优化生成+对比检索/推荐时，建议对 embedding 损失做 gradient isolation：不回传到前缀 token，避免生成能力被对比损失干扰。论文消融中去除后 nDCG 从 34.7 掉到 29.8。
- 推理时用 greedy expansion 比 best-of-k 更划算：每步生成多个候选，用 utility estimator 选最优继续，而不是采样完整轨迹；对 query 改写、Agent 多步检索、搜索词生成都可复用。
从分块到功能证据：面向 EDA 文档问答的功能感知检索
🧭 RAG 检索单元重构 · 功能超边
Zhejiang University · Shanghai Innovation Institute
用功能单元（超边）重组多类型文档碎片，训练编码器对齐 query 与功能单元，联合 chunk 检索与统一 reranker，大幅提升 EDA 文档 QA 的 ROUGE-L
📌 工作参考价值（3 点）
- 复杂技术文档、商品详情页、广告投放规则等多类型碎片场景，可借鉴「功能单元」思想：将相关代码块、参数表、图、约束等聚合成检索单元（如商品功能单元、活动规则单元），用超边链接源 chunk，缓解 query 与孤立 chunk 失配问题。
- 检索阶段采用单元检索与直接 chunk 检索并行，再统一 reranker 选证据，比单一 chunk 或纯图检索更稳；在电商知识库 QA、规则问答里可直接复用该混合召回架构。
- 训练一个 encoder 对齐 query 与功能单元表示，而非只训练 chunk encoder，能更好捕获跨模态/跨类型信息之间的耦合关系；业务上可对商品多属性（标题、参数、卖点、图）学习统一功能表示。
文档结构是否提升密集检索？双语料四机制安慰剂对照消融
🧭 RAG 密集检索 · 文档结构消融
Center for Research Computing, University of Notre Dame
在双语料上做安慰剂对照消融，证明结构对齐分块与真实标题路径能小幅但稳定提升稠密检索 nDCG
📌 工作参考价值（4 点）
- 做商品文档/详情页 RAG 时，尽量按标题、段落等结构对齐分块，而不是固定窗口；给 chunk 加真实标题路径可小幅提升检索 nDCG，成本不高。
- 避免把标题路径等元数据当任意 token 前缀：收益来自语义内容，不是文本扰动；打乱或占位符无效，所以要保留真实结构语义。
- 分层两阶段检索在业务里可能不如单阶段，尤其第一阶段 section 召回率是瓶颈；上线前需对比单阶段与两阶段的 recall/nDCG。
- LLM 重建文档结构不一定优于原始结构，Wikipedia 上原始结构更好，QASPER 上无差异；不要盲目用 LLM 诱导结构，按语料做小样本验证。
嵌入空间强化学习检索训练
🧭 RL 后训练 dense retriever ★ 深度解读
Renmin University of China
RELER 将 embedding 视为动作，以 vMF 采样探索，用 RL 直接优化检索/下游奖励，结合 CMP 降方差，后训练提升检索与 RAG
📌 工作参考价值（5 点）
- 在电商/广告检索中，可只对 query encoder 做 RL 微调、冻结文档/商品向量库与 ANN 索引，直接把 nDCG@K、Recall@K、点击率或 GMV 等不可微业务指标作为 reward，无需重建索引即可适配新目标。
- 用 vMF 分布对归一化 query/document embedding 做采样探索，再配合 RLOO 策略梯度，可以把已有双塔模型从对比学习后训练成直接优化业务排序指标，线上推理保持确定性单向量检索，无额外成本。
- Product rollouts 将同一批 query 与 document embeddings 两两配对计算 reward，不增加 encoder 前向，却让每个采样获得更多反馈，适合候选集有限、前向成本敏感的场景。
- CMP 把采样嵌入投影到由策略均值和候选向量张成的低维子空间再算梯度，能在不改变期望梯度的前提下显著降噪；当候选集维度远小于 embedding 维度时尤其值得采用，例如电商候选池通常有限。
- 奖励设计上，分档 nDCG@10 + pairwise 准确率（λ=0.5）优于 binary nDCG/MRR；业务中可类比使用分档排序指标与 pairwise 反馈混合，但 pairwise 权重不宜过大。
MRVQ：面向维度与速率弹性的单一驻留向量索引
🧭 向量检索 · 弹性量化索引 ★ 深度解读
Atlassian · National Taiwan University
用一个残差量化索引通过残差阶段和坐标前缀两种截断，同时服务多种维度与码率，大幅节省驻留内存
📌 工作参考价值（4 点）
- 在需要同时支持多 embedding 维度（Matryoshka prefix）和多压缩率（4/8/16 B/vector）的召回/检索场景，可用单个残差量化器替代每个配置存一套索引：训练时对多个前缀维度加权重建误差，服务时用 stage 前缀控制码率、坐标前缀控制维度，大幅减少内存和部署复杂度。
- 工程实现上，残差量化 stage 天然提供嵌套码长：只存最大码（本文为 16 B/vector），解码时截断前 b stages 即可得到低码率版本；query 保持 floating point 不对称打分，容易接入 Faiss 等现有 PQ/OPQ 检索链路。
- 对商品库更新快、需要频繁重建索引的电商/多租户场景，PCA-scalar 方案（PCA 旋转 + 按方差分配标量位 + 逐坐标量化）质量与 RaBitQ 相当，但拟合速度中位数快 420 倍，适合近实时构建。
- 注意两个负面结论：高 rate 下 QINCo2 可能训练 collapse，若复现需做稳定性处理；基于 residual energy 的 ranking bound 预测未达标，不能用于质量保证。
仅用 In-Context 示例实现无需训练的 Dense Retrieval
🧭 LLM 免训练 dense retrieval ★ 深度解读
University of Waterloo · The University of Queensland
RICE 用少量 in-context query-document 示例直接提示 LLM 生成 dense 表示，免训练，在 BEIR 上显著超越同类零样本检索方法
📌 工作参考价值（4 点）
- 电商搜索/召回可直接复用：用少量人工标注 query-商品对作为 in-context examples，prompt 自有 LLM 生成 query 侧向量和商品侧向量，再接入 FAISS 做 ANN 召回，省去微调检索模型；商品侧离线预计算，query 侧实时生成，工程上可用 vLLM 加速。
- 动态 exemplar selection 值得落地：查询时先用 BM25 从示例池检索与当前 query 最相似的示例，能进一步提升召回（FiQA/NFCorpus/SciFact 上均有增益），适合电商 query 改写或召回场景。
- 通过换更大/更强的 LLM 可直接提升检索效果，无需重新训练，RICE 用 Qwen3.5-9B 比 Qwen3-8B 平均高 1.6 点，说明 LLM 能力提升能直接迁移到检索表示。
- 示例标签不必精准：同域 query-doc 对（甚至 random / non-relevant 对）都能带来提升，shuffled/blank 代表词影响很小；因此收集少量同域语料即可，不必精细标注相关性，但要避免跨域示例。
Target 零售商品搜索的实用混合检索方案
🧭 电商搜索 · 混合检索与结果融合
Target Corporation
Target 混合词法-向量检索，加权交错融合，线上 CTR/转化提升并零结果减半
📌 工作参考价值（4 点）
- 电商搜索/推荐候选生成不要用向量完全替代词法或协同信号：保留双通道，向量通道承接自然语言和长尾查询，词法/ID 通道保证精准意图与品牌/SKU 命中；同时把 zero-result 作为上线必须观测指标。
- 多路融合优先实验 weighted interleaving：相比简单分数归一化或串行合并，它能更稳地控制各通道曝光与排序多样性，本案例线上 CTR、订单转化和每访客需求均获得提升。
- 将精度控制作为最终结果集独立环节：对向量召回噪声做词法命中、规则或分类器过滤，再交给精排，尤其适合电商 SKU/品牌/规格等硬约束场景。
- 生产部署把 embedding 计算、ANN 索引、缓存和融合放关键路径优化，并对向量通道做降级与超时控制，保证低延迟；可复用到实时搜索和推荐召回。
TEMPS：面向时间信息检索的时间句嵌入模型
🧭 时间感知检索 · 模块化时间分支
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris · Aldebaran Care
在冻结语义检索器上附加时间分支，用时间表达式 grounding 提供监督，提升时间敏感检索
📌 工作参考价值（4 点）
- 可直接复用到电商搜索：商品标题、query 中常含“2023 新款”“夏季促销”“去年款”等时间表达，冻结现有语义双塔模型，增加轻量 temporal branch，解析时间区间并计算 Gaussian-KL 包含度作为时间相似度分数，在召回/排序阶段与语义分数加权融合，无需重新训练主模型。
- 训练 supervision 来自时间表达 grounding，不需要人工标注时间相关性数据，适合业务中大量无标注文本；可在现有商品库/搜索日志上自动构造时间锚点对。
- 时间分数设计为分布包含度量（KL inclusion），适合处理模糊时间词如“近三年”“最近夏天”，比精确日期匹配更鲁棒；可直接用于 RAG 知识库的时效性过滤，避免过期内容被检索。
- 工程实现上 temporal branch 参数少、冻结 backbone，线上推理开销小，可作为排序阶段的一个独立特征接入现有点击/转化模型。
通过稀疏自编码器特征追踪查询扩展效应
🧭 SAE可解释性 + 查询扩展分析
Shandong University · University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences
用SAE分解dense retriever表示，解释查询扩展引起的内部特征变化，并通过激活引导提升检索性能
📌 工作参考价值（3 点）
- 利用SAE特征分析查询改写/扩展对检索模型内部表示的影响，定位与用户意图、商品属性相关的稀疏维度，可用于电商搜索相关性问题的诊断与归因。
- 激活引导提供了一种无需重训检索模型或改写查询的轻量干预方式，可能用于实时调整检索行为，例如在电商搜索中提升特定品类或意图的召回。
- 对于生成式推荐或Agent系统，可借鉴SAE分解中间表示的方法，理解上下文如何影响item或action的生成，增强模型决策的可解释性。
BIT.UA 在 BioASQ 14B：模块化检索与 Agent 共识答案生成
🧭 多Agent共识生成 · 模块化RAG检索
IEETA/DETI, LASI, University of Aveiro, Aveiro, Portugal · IT, University of Aveiro, Aveiro, Portugal · Aalborg University Business School, Aalborg, Denmark
将 PostgreSQL BM25、Qdrant 稠密检索与多 Agent 辩论共识机制引入生物医学问答，取得竞争性 MAP 排名
📌 工作参考价值（4 点）
- 混合检索架构模块化拆分：BM25 倒排用 PostgreSQL pg_textsearch，稠密向量单独用 Qdrant GPU 索引，各自独立扩展与调优；电商搜索/推荐可以借鉴这种拆分，避免绑定单一检索引擎，降低替换成本。
- HyDE 做 query 扩展：用 LLM 生成假设性文档再检索，缓解 query 与文档词汇不匹配问题；在电商搜索 query 改写或长尾词召回中，可尝试 HyDE 生成伪商品描述，提升稀疏召回覆盖。
- Reranker 训练负采样用 dense retrieval 挖掘难负例：比随机负样本更能提升排序模型判别力；推荐精排阶段的负样本采样可以参照，用当前召回模型检索难负例。
- 多 Agent 共识生成机制：多个不同 prompt 的 agent 辩论并迭代收敛，配合 adaptive document retention 保留相关文档，可迁移到商品推荐理由生成、搜索结果摘要或客服问答，提升生成一致性与事实性。
嵌入手术：稠密检索中自适应排序纠正的局部化更新
🧭 稠密检索 · 排序纠正 · 向量索引更新 ★ 深度解读
IIT-CNR · Seltz · ISTI-CNR
提出嵌入手术，在查询时对文档嵌入做最小凸优化更新，以满足排序偏好约束，无需重训或重建索引
📌 工作参考价值（4 点）
- 在推荐/广告向量召回中，针对 badcase、编辑干预（提权、打压、合规）无需重训或重建索引：对召回 top-k 的 item embedding 解一个小规模 QP，约束可来自人工规则、点击/转化信号或 LLM 评估；更新仅限参与 pair 的 item，保持全局空间不变。
- 利用反事实点击偏好作为约束：第 i 位点击 > 第 i-1 位未点，立即触发局部更新；即使点击有噪声也稳定，近随机点击不导致显著退化，适合在线反馈闭环。
- ANN 工程：小幅度 embedding 更新可直接原地覆盖 HNSW/IVF，无需改图边或重建索引；实验显示 185k 向量覆盖后 DL 指标无显著变化，IVF 仅 0.38% 向量跨簇，可支撑实时修正层。
- 与 query 侧自适应（如 CoRocchio）组合用；文档侧对噪声更鲁棒且能传播到语义相关 query，query 侧在可靠反馈下更强，组合在良好反馈下最高。
E-SENS：面向负约束检索的排除敏感惩罚方法
🧭 RAG · 负约束检索优化
Independent Researchers
训练无关重排方法 E-SENS，用陷阱查询相似度惩罚排除概念，减少否定敏感检索中的违规召回
📌 工作参考价值（4 点）
- 电商搜索/推荐中用户常含否定词（如“非雪纺”“不含酒精”），现有嵌入召回容易命中否定概念；可借鉴 E-SENS：用 LLM 抽取否定片段生成 trap query，在召回或重排阶段对候选商品做相似度惩罚，无需训练即可上线。
- 广告否定关键词可类似处理：为每个否定词构造排除向量，从广告相关性分数中减去，减少 exclusion 流量上的无效曝光。
- 工程实现上，trap query 应尽量紧凑，避免引入多余语义；惩罚强度作为超参，可在评测集扫描 recall-violation 曲线，取满足召回底线下的最小违规点。
- 在 Agent/RAG 知识召回中，若用户明确排除某类内容，可由 LLM 先提取排除约束并生成 trap query，对召回结果重排过滤，降低后续生成违规风险。
面向 Agent 搜索的交互感知检索
🧭 Agent 搜索 · 交互感知稠密检索 ★ 深度解读
The University of Queensland
提出交互感知检索器 ITER，用历史查询与轨迹相对监督提升 Agent 搜索证据发现
📌 工作参考价值（4 点）
- 在电商/导购 Agent 的召回或重排中，可将「主需求 + 当前 query + 已尝试 query 序列」作为排序输入，显式告知模型已探索方向；即使不换模型，也能减少已看商品/答案的重复置顶，优先曝光能补充新信息的候选。
- 从用户或 Agent 轨迹构造三层负样本：已点击且有效作为冗余负样本（最高权重，如 3.0），已点击无效作为困难负样本（1.0），曝光未点击作为弱负样本（0.3）。这比传统随机负采样更贴合“边际增益”目标，适合精排/重排阶段。
- 工程上可采用去重式结果接口：把已曝光/已点击的 item 移到侧栏但仍可访问，不占主列表坑位，从而提高后续 step 的新候选覆盖率；论文中该设置带来 26.7% 的延迟访问正样本，对推荐/搜索 Agent 同样有借鉴意义。
- 跨模型迁移时，避免把 free-form pre-search reasoning 作为核心特征；不同 LLM 表达差异大，AgentIR 虽然 search recall 高但 task success 不稳。结构化历史（主 query + 子 query 序列）具有更好的跨 backbone 鲁棒性，更适合多模型混用的线上环境。
查询扩展不只是生成：通过更好的集成改进稠密检索
🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读
University of Arizona
将原查询与 LLM 扩展分别编码后做向量插值，并用无监督前缀估计扩展信任度，单向量提升稠密检索
📌 工作参考价值（4 点）
- 在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词，不要直接拼接进 embedding 或仅用扩展文本检索；把原始 query 和扩展分别过 query encoder，再做归一化向量插值，权重 α 显式控制扩展贡献，可避免 token 截断、attention 纠缠带来的退化。
- 无监督在线校准 α：用流量前 8-16 个无标注 query 估计 stream-level α，按 r_top1 × r_sup 计算，即扩展自身检索强度 × 与原始 query top10 证据一致度；电商搜索流或推荐 query 流可零标注启动，之后冻结为单向量服务。
- 工程架构上，如果只需同一 dense space 的线性融合，用单向量 AnchorQE 等价加权 CombSUM，一次 ANN 检索即可，不要做 N+1 路融合；但混合 sparse/dense 或非线性融合不适用。
- 扩展质量仍是上限：集成只能控制影响，不能修复 LLM 生成的无关内容；生成质量差时应优先优化 prompt 或过滤，而不是只调 α。
指路藏终点：大规模实用私有密集检索
🧭 隐私保护向量检索 · 深度哈希短列表
The Chinese University of Hong Kong, Shenzhen · State Key Laboratory of Internet Architecture, Tsinghua University · Beijing University of Posts and Telecommunications · The Chinese University of Hong Kong · Institute of Software, Chinese Academy of Sciences
用可学习深度哈希生成短候选列表，结合加密重排与不经意传输，在保持检索质量的同时将全库密码学搜索成本降至可部署水平
📌 工作参考价值（4 点）
- 在需要隐私保护的 RAG 或私有知识库检索中，可将「可学习深度哈希 shortlist」作为预筛层：只对哈希命中的 200-500 个候选做加密重排，避免全库同态计算，检索质量接近全库向量检索。
- 将连续 embedding 映射为二元哈希码后，不再直接暴露原始向量，配合 directional metric DP 可显著降低 embedding inversion / property inference 泄露；对电商用户行为、广告素材、商品描述等敏感语料检索有直接参考价值。
- 工程上可采用两阶段漏斗：哈希粗筛得到短列表，再用 oblivious key transfer 和加密 reranking 保护具体 query 与最终 item 选择；这比单纯用聚类或 LSH 粗扫更贴合私有检索的隐私与质量平衡。
- 在 10Gbps 网络、数百万文档规模下，该协议额外延迟约 0.73s，适合在线 RAG 服务；但需要额外训练/微调深度哈希模型，并接受候选短列表带来的召回上限。
AdaWidth：面向稠密检索的查询自适应嵌入宽度
🧭 稠密检索 · 查询自适应嵌入宽度 ★ 深度解读
University of Washington
正交前缀适配器加查询路由器，在共享前缀下按查询分配嵌入宽度，匹配 SOTA 且维度减少 55%-84%
📌 工作参考价值（4 点）
- 双塔召回/商品搜索中，可以冻结已上线 encoder，加 Householder/WY 正交适配器对 query/item 共同旋转，保证全宽内积不变、全宽 KPI 不变；item 离线旋转一次，在线只算前缀，风险低。
- 在线先做 64 维前缀召回/排序，路由器只读已有排序的 score gap、熵等 rank-order 特征，判断是否不稳定；只对 top ρ 的 query 升级到 128/256 维，平均维度下降且无需额外 encoder 前向。
- 容量规划可参考 prefix sufficiency：所需维度随语料规模对数增长、随检索深度对数下降；大促候选池膨胀时不用线性扩维，可按 log N 调整。
- 低资源场景用 F=8 的 Householder 适配器仅约 13.8K 参数，比 dense adaptor 少 50-280 倍，效果仍领先 baselines，适合轻量部署。
超图嵌入索引：高效稠密向量检索
🧭 向量检索 · 倒排索引
Sodhana
HEI 按高激活潜维度组合组织文档，用倒排索引生成候选并保留语义排序
📌 工作参考价值（4 点）
- 在电商向量召回中，可将商品/用户 embedding 的高激活维度组合构造成倒排索引，替代或混合 HNSW，降低线上粗排阶段延迟与内存占用；适合作为大规模候选生成层。
- 采用多个互补超图（不同维度子集、不同激活阈值、不同语义簇）做多路召回，再融合重排，能提升长尾商品或冷门内容的覆盖，避免单超图维度增加带来的组合爆炸。
- 引入 activation diversity 作为诊断指标：评估当前训练出的 embedding 是否适合坐标倒排索引；若 diversity 低，可考虑加稀疏正则、维度解相关或调整训练目标，使向量更可索引。
- 该框架对 embedding 的稀疏/高激活特性有依赖，在业务中可先对已有向量做激活分布分析，判断是否值得迁移到倒排索引路线。
现代RAG管道评估：文本、多模态、稠密与晚交互
🧭 RAG 管道选型与多模态权衡
Özyeğin University, Istanbul, Türkiye
提出数据驱动的RAG管道选择方法，在检索效果与资源约束间权衡
📌 工作参考价值（4 点）
- 电商详情页、广告落地页含大量布局、表格、图片，纯 OCR 文本管道会丢失结构语义；可在 RAG 检索阶段引入 VLM 多模态编码，但需按类目或高价值 query 试点，用延迟与召回指标对比。
- late interaction（如 ColBERT）是稠密检索与多模态之间的实用折中：保留 token 级交互提升细粒度匹配，同时避免每次查询调用 VLM 的高开销，适合低延迟搜索推荐场景。
- 建立管道选型决策表：依据文档类型（文本为主 vs 富媒体）、query 类型、资源预算，用离线 nDCG/recall@k 与在线 p50/p99 延迟、GPU 成本联合选择，避免一刀切。
- 对表格规格、价格/评分等结构化信息，优先用 layout-aware 文本解析或混合表示，减少 VLM 调用次数；可先文本召回再用视觉重排，在成本可控下提升准确率。
SSR-GRPO：融合监督与语义ID的强化学习电商稠密检索
🧭 电商稠密检索 · Semantic ID + RL ★ 深度解读
Alibaba Group
用层级语义ID替代大模型裁判并构造难负样本，提升电商稠密检索的RL训练稳定性
📌 工作参考价值（4 点）
- 用 RQ-VAE 学层级 Semantic ID 作为稀疏 relevance 信号：item 量化成 3 层 SID，query 用 LLM 生成 SID，按前缀匹配深度打分（0/0.25/0.5/1.0），与 dense embedding 融合后替代 Judge LLM。SID-only 效果已接近 42B MoE 判官，训练成本低且减少裁判偏置，适合电商召回模型 RL 落地。
- 难负样本构造可复用：Type II 共享前两层 SID、只差第三层的负样本能逼迫模型学细粒度语义边界；Type I 用进入粗排但被精排低分过滤的样本，作为“语义相关但商业弱”的负样本，适合电商 CTR/CVR 目标。
- Masking 机制：GRPO 中 top-K 候选里 reward 低于 hard negative 的样本直接 mask 掉，可过滤 batch 内噪声 easy negatives，缓解 Reward Hacking；类似 DeepSeek V3.2 的 off-policy sequence masking。
- 多目标联合优化：RL 梯度方差大，用 R-DPO（无 reference policy 的 pairwise margin loss）提供稳定监督梯度，配合 uncertainty-based dynamic weighting 避免手动调权；同时 SFT 初始化不可省略，RL-only 效果很差。
Think-to-Personalize：统一推理与检索的用户中心个性化密集检索
🧭 LLM 推理驱动的个性化查询改写与密集检索 ★ 深度解读
University of Science and Technology of China · Meituan
提出 TTP 框架，用 LLM 显式推理用户历史生成意图增强查询，并与密集检索端到端联合训练，线上订单量提升 0.46%
📌 工作参考价值（4 点）
- 端到端联合优于解耦流水线：把 LLM 生成的 intent-enhanced query 与共享检索编码器联合训练，比独立 rewrite-then-retrieve（Decoupled-Stage）在 General 上 Recall@20 高 1.63 个点，Broad 上高 3.66 个点；电商搜索/召回链路若已有 LLM 改写模块，可尝试将其嵌入检索塔共同优化。
- 意图增强数据构造可复用：用大模型按偏好抽取、意图消歧、查询纠正三类进行改写，生成 5 候选，再用 reranker 按 ground-truth 成交商品过滤并采样 top3，同时保留不改写样本防止过度个性化；这套流程可直接迁移到搜索 query 改写、搜索建议或 push 文案生成。
- RL 对齐的两个关键 trick：GRPO 中用冻结 SFT 模型计算检索奖励，避免 reward hacking（unfrozen reward model 导致平均 R@20 从 44.97 暴跌到 29.53）；奖励用 ΔS_pos + ΔS_margin 两项，并动态选择奖励最大的 rollout 作为对比正样本，显著稳定训练。
- 在线效率方案：head query 走离线个性化 cache（覆盖 10.59% QV），miss 用蒸馏 305M 双塔实时服务，蒸馏时加入 <q_r, p+> 和 <q, q_r> 目标，保留大部分效果（平均 R@20 43.10 vs 教师 44.97），端到端延迟仅增 0.15ms，适合大规模部署。
文档嵌入保持调优：统一查询扩展与检索
🧭 LLM 统一查询扩展与稠密检索 ★ 深度解读
Beihang University
通过文档嵌入保持、白化、在线硬负样本与直通解码，实现 LLM 在统一查询扩展与稠密检索中的稳定端到端训练
📌 工作参考价值（4 点）
- 在电商搜索 query 改写/扩展中，可借鉴 DEPT 思路：用同一 LLM 做改写和向量编码，但保持文档侧嵌入稳定，避免频繁重建全库向量索引；工程上可先缓存文档嵌入，微调时只更新 query 侧，上线时直接复用原有向量库，节省推理与索引成本。
- 采用固定白化（whitening）预处理向量空间，缓解 LLM 原始嵌入的各向异性，提升 cosine 检索效果；实践中可以基于已有文档向量估计白化矩阵，训练时保持文档分布稳定，该矩阵可持续有效。
- 直通解码（straight-through）将检索排序损失直接传到生成 logits，可用来优化 query 生成策略，让生成式改写直接以召回/排序指标为学习信号，而非仅文本相关；在线硬负样本挖掘能提供与当前 query 行为匹配的难负样本，提升训练效率。
- 短扩展变体（DEPT-K）用关键词式 prompt 控制生成极短扩展（~9 tokens），在几乎不增加线上延迟的情况下达到接近长扩展效果，适合电商搜索高并发低延迟场景。
复杂分块何时值得？大规模分块方法多目标评估
🧭 RAG 密集检索 · 分块多目标评估
University of Passau · Interdisciplinary Transformation University Linz
8种分块策略的规模化评测表明复杂分块很少一致优于简单分块，最佳选择高度依赖模型、数据和规模，且成本差异显著
📌 工作参考价值（4 点）
- 在电商 RAG 场景（商品文档/评价/客服知识库）中，先以固定长度或递归分块作为 baseline，不必一上来用 Proposition/语义分块等复杂方法：它们往往只带来微小或不一致提升，但索引与维护成本更高。
- 选型分块时把索引吞吐、查询延迟、向量库内存纳入评估，而不只看 nDCG/Recall；相同检索指标下，优先选择 chunk 数量少、平均长度小的策略，可显著降低线上召回和存储成本。
- 分块效果与 embedding model 和 corpus size 存在交互，没有 universal best；上线前应在自己模型与目标语料规模下做小规模多目标 ablation，并分别报告 Recall@k 与 nDCG@k，因为结论可能随目标指标不同而翻转。
- 对于长文档召回，采用“更细分块 + MaxP/段落级聚合”常是一个稳的起点；复杂分块若不能在同一模型/数据上稳定提升，不建议为微弱效果付出工程复杂度。
工具技能检索失败：可执行能力检索中的源风格坍缩
🧭 Agent 工具检索的源风格坍缩与路由 ★ 深度解读
University of Manchester · University of Sheffield · Shanghai University of Finance and Economics
固定工具库下 dense retriever 会因 query 源风格偏移而覆盖崩溃，TF-IDF 路由+少样本修复可显著恢复覆盖。
📌 工作参考价值（4 点）
- 在多源工具库/API 注册中心上线前，用 query-side TF-IDF 质心距离对流量做源风格监控，设置 safe/unsafe band 做路由护栏，成本极低且能避免线上 candidate coverage 崩溃。
- 不要用 naive 混合训练或平衡重加权来解决多源 drift，它会损害原本匹配源的覆盖；更划算的做法是保留多个 retriever checkpoint，做 source-aware routing，并对 mismatched 流量用 20 条左右 matched examples 做短时继续微调。
- 检索层是 agent 执行链路的入口，评估时优先看 coverage 或 coverage-weighted top-1 proxy，而不是只看 covered query 上的 reranker 精度；未覆盖 query 必须直接记为失败，否则会掩盖系统风险。
- 把工具/API 重渲染成标准化 skill card 并不能消除源风格坍缩，说明问题在 query-tool pairing 习惯和措辞分布，而不只是 schema 格式；做 skill 库时不要把格式归一化当成语义漂移修复。
GEM：桥接推理与检索的生成式嵌入模型
🧭 生成式嵌入 · 推理增强检索 ★ 深度解读
University of Glasgow
GEM 用单一生成式嵌入模型先对 query 推理再编码，使检索模型能理解推理而不仅是表面匹配，4B 模型超越更大 baseline
📌 工作参考价值（4 点）
- 在搜索 query 理解阶段，可让 retriever 自身生成 query 解析（意图、相关标准、负向条件），再对 query+推理拼接后编码，而非仅依赖原始 query 或外部 query expansion。电商搜索中复杂长尾 query（例如“适合送长辈的安卓手机，不要小米”）可先用 LLM 生成明确检索标准，提升召回精度。
- 训练 embedding 模型时，保留生成能力（联合 causal LM + contrastive loss），用专门 <|embed|> token 而非 EOS token，推理时可复用 KV cache，避免先推理再编码的额外计算；业务部署时可在同一模型内完成 query 推理和向量化，降低 pipeline 延迟。
- 数据合成 trick：采样多个 reasoning 候选，用 LLM 判断原始相关文档是否仍满足该推理来过滤；再基于通过过滤的推理生成正文档和“主题相似但违背某个推理标准”的 hard negatives。这种对齐数据能显著提升 embedding 对指令/约束的敏感度，适用于电商推荐中“可解释偏好”或“多条件过滤”场景。
- 测试期 compute scaling：通过 prompt 要求生成更长推理（如目标词数）可稳定提升 nDCG，但到 1024 词后饱和；工程上可对高价值 query 分层使用，长尾复杂 query 用扩展推理，普通 query 短推理，平衡效果与成本。
SPEAR: 社区搜索中端到端自适应改写与检索的防短路框架
🧭 端到端查询改写与检索联合优化 ★ 深度解读
National University of Singapore · Shanghai Dewu Information Group Co., Ltd.
通过梯度隔离双嵌入、乘性门控和动态选择器，解决改写-检索错位与通用词主导效应，点击召回@10提升99.5%
📌 工作参考价值（4 点）
- 在多路召回改写系统中，可用乘法门控替代加法路径评分（如 Softplus 保证非负后加权），强制改写贡献需同时满足高置信与高 item 相关，直接消除高频通用词的分数膨胀问题。
- 若模型同时服务召回和排序任务，采用双嵌入分支 + stop-gradient 隔离梯度，保护召回语义不被 CTR 优化扭曲，工程上仅需增加少量投影 MLP，易于部署。
- 动态生成样本级的 scale/bias 参数（由用户和 query 表征共同决定），使改写权重与匹配分数能随请求自适应校准，比固定超参更具个性化性。
- 离线评估改写模型时，可同时关注 Exposure Recall、Click Recall 和 Semantic Similarity 三个指标，分别衡量检索覆盖、点击恢复和意图保真，避免单一语义相似度的片面性。
UEmbed：统一稀疏与密集的多模态解码器嵌入模型
🧭 多模态嵌入 · 统一稀疏密集检索 ★ 深度解读
CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University
首次在纯因果解码器架构中同时产出稀疏词汇表示与密集语义向量，统一多模态检索。
📌 工作参考价值（4 点）
- 稀疏-密集统一表示：单一 MLLM 前向可同时获得稀疏词袋与密集向量，无需额外模型，可直接用于召回-排序联合优化，降低延迟。
- 因果模型兼容 vLLM 等高效推理框架：由于保持纯因果注意力，稀疏向量的生成可直接融入现有自回归服务栈，降低工程迁移成本。
- k-means 词汇划分与 FLOPS 正则：该方法中的词表分割策略可迁移至电商商品标题或描述的关键词扩展，提升查询与商品的词汇匹配粒度；FLOPS 正则保证稀疏激活可控，避免膨胀。
- Agent 搜索成本节约：在 deep research 类场景中，稀疏表示让 Agent 用更少的搜索轮次达成相近召回，直接降低工具调用开销，可参考用于导购 Agent 的关键词检索。
桥接 RAG 中问答鸿沟的假设提示嵌入
🧭 RAG 检索优化 · 假设嵌入
University of Primorska, Faculty of Mathematics, Natural Sciences and Information Technologies · InnoRenew CoE · Research Centre of the Slovenian Academy of Sciences and Arts, The Fran Ramovš Institute
将假设内容生成从查询时移至索引阶段，用预计算的假设提示嵌入将检索变成问题-问题匹配
📌 工作参考价值（4 点）
- 预计算假设查询嵌入，替换在线 HyDE：在电商搜索或客服 RAG 中，可将每个商品详情页、政策文档预先用 LLM 生成多个可能用户会问的问题（hypothetical prompts），用这些问题嵌入直接建索引，在线时用户查询嵌入直接与问题嵌入匹配，完全消除查询时调用 LLM 的延迟和成本。
- 多假设覆盖长尾查询：每个 chunk 生成 5-10 种不同表述的假设问题，能覆盖更广泛的用户表达习惯，尤其适合电商搜索中同义但非规范表达的查询，提升召回率和上下文精度。
- 与重排序、多向量检索等兼容：HyPE 仅改变索引构建方式，不影响线上检索架构，可直接叠加现有的粗排-精排流水线、多向量延迟交互模型（如 ColBERT）或查询分解，适合渐进式落地。
- 监控与质量保障：生成假设问题时需要控制幻觉，可先用小模型生成再过滤，或结合类目体系约束生成范围，保证问题与文档内容一致，这比 HyDE 在线生成更容易审计和修复。
相关性新角色：引导智能搜索中的语料交互
🧭 相关性引导的语料库交互代理 ★ 深度解读
Tencent · Institute of Information Engineering, CAS
RARG 将检索相关性转化为 grep 遍历的文档顺序与匹配片段重排信号，以更少交互步数提升搜索收敛效率
📌 工作参考价值（4 点）
- 把相关性当作执行先验，而不是证据通道：在电商搜索 Agent 中，可以用稠密检索对商品池做文档级排序，让 grep/关键词匹配按此顺序遍历，使高相关商品优先被检索，减少无效扫描。
- 提供入口点初始化加速收敛：为 Agent 提供少量 top 相关段落作为启动线索，避免冷启动时的盲目搜索，可类比在推荐对话系统中先给出若干候选商品摘要，快速进入验证阶段。
- 匹配级重排弥补文档级排序的粒度不足：当关键词匹配输出被截断时，用嵌入模型对匹配片段重排，使埋在低排名文档中的关键信息也能暴露给 LLM，可在商品标题/详情片段高频匹配的场景下保留重要长尾证据。
- 利用工具设计约束引导模型行为：通过引入 embed_recall 工具和 scope 文件，将多步检索显式化为有序管道，避免模型滥用耗时的全量遍历命令（如 ls/find），该模式可用于约束 Agent 在大量候选中进行有序探索。
利用LLM标注训练数据扩展稠密检索：电商赞助搜索的结构化挖掘与渐进课程
🧭 稠密检索 · LLM标注 · 课程学习 ★ 深度解读
Walmart Global Tech
用多通道检索分歧和LLM级联生成240M+结构化样本，配合三阶段课程训练，使稠密检索在Walmart线上NDCG@10提升5.1%
📌 工作参考价值（4 点）
- 多通道分歧挖掘正负样本：利用词典/BM25/现有ANN系统间的低重叠（13%-15%），自动生成easy positives（三通道共识）、hard positives（词汇系统命中但ANN遗漏）和hard negatives（仅单通道高分但无关），无需人工标注。任何有多路召回的业务可直接套用。
- 校准级联减少标注成本：Cross-Encoder(184M) → LoRA 2B LLM → LoRA 8B LLM，每类别做isotonic calibration，高置信度提前接受，含糊样本升级，在保持89.1%人类一致率下节省约50%计算。可迁移到需要大规模打分/标注的场景，尤其适合用成本换取准确率权衡。
- 三阶段渐进课程设计：Stage1 BCE训练“容易正+随机负”打基础，Stage2 MNR引入hard negatives学排序，Stage3 Triplet用token-similar negatives学语义区分。直接混合训练比课程低9.5% NDCG@10；必须严格按BCE→MNR→Triplet顺序，以BCE结尾会毁掉细粒度表征。
- 硬标签远监督代替软蒸馏：LLM级联离线生成hard labels，缓存复用，升级独立，不增加线上延迟。适合需要解耦标注与训练的场景，但需容忍~11%的标签噪声；文中指出当数据量足够大时深度模型可容噪改善。
密集检索嵌入的自回归建模训练方法DREAM
🧭 自回归监督的密集检索无对比训练
The Hong Kong University of Science and Technology
利用冻结LLM的自回归损失作为监督信号，通过注意力注入相似度分数训练密集检索器，无需对比标注。
📌 工作参考价值（4 点）
- 无标注训练检索器：可利用海量用户行为数据（如点击、加购），通过 LLM 的生成任务（例如预测商品标题下一个 token）提供训练信号，免去构建正负样本对的人工成本。
- 注意力注入梯度回传：将检索相似度分数注入冻结 LLM 的注意力头，仅更新检索器即可从生成损失中学习，适合在推荐系统中快速迭代召回模型，无需微调大模型。
- 端到端梯度通路设计：可借鉴该架构，用用户行为序列预测任务替代语言建模，构建检索器与 LLM 之间的可微连接，实现联合优化而不破坏 LLM 已有知识。
- Agent 检索优化：在 Agent 系统中，检索上下文直接影响后续动作；DREAM 可利用任务完成信号或环境反馈作为自回归目标，持续在线优化检索器，无需人工标注查询-文档相关度。
用多前缀嵌入改进长上下文检索
🧭 长上下文检索 · 多前缀嵌入
University of Waterloo · University of Queensland · University of Utah · Carnegie Mellon University
在单次因果前向传播中用EOS分块抽取前缀嵌入，实现细粒度检索且保留跨块上下文
📌 工作参考价值（4 点）
- 在电商搜索中，若使用基于因果语言模型的检索编码器（如 LLaMA），可采用 MPE 将商品长描述按 EOS 分块，一次编码得到多个前缀嵌入，通过 MaxSim 实现细粒度匹配，兼顾上下文感知，避免独立编码分块带来的信息割裂。
- 训练时仅需文档级相关性标注，无需分块级细标注，显著降低标注成本，适合电商快速迭代场景。
- 查询与文档匹配时可定位到具体分块的贡献分数，天然提供证据归因，可用于排序结果可解释性或辅助人工审核。
- 存储开销远低于 token 级多向量方法（如 ColBERT），同时保持较好的细粒度匹配能力，适合大规模商品库的近似检索。
FAST-MEL：快速、精准、低存储的多模态实体链接方案
🧭 多模态实体链接 · 高效向量索引
Univ. Rennes · INSA Rennes · CNRS · Inria · IRISA
提出紧凑固定向量表示，在维持SOTA准确率的同时实现千倍加速与储空间缩减。
📌 工作参考价值（4 点）
- 紧凑的统一表示：为每个实体生成固定尺寸的多模态向量（文本+视觉），可直接用于电商知识图谱构建，将商品标题、图片与实体快速对齐，无需维护异构特征。
- 极速检索：通过向量化索引实现近似最近邻搜索，实体链接速度提升三个数量级，适合大规模商品库的实时实体消歧、搜索词到商品的映射。
- 存储优化：存储需求降至最快系统的1/10，适合部署在资源受限的终端或边缘节点，例如移动端商品识别或本地缓存Agent知识。
- 多模态融合思路：轻量编码器架构可借鉴至生成式推荐中的Semantic ID生成，将图文特征压缩为固定向量，平衡语义保真度与推理效率。
量化如何限制密集 top-k 检索？一项理论分析
🧭 密集检索 · 向量量化理论
NTT, Inc.
证明在量化精度下，嵌入维度必须随语料库规模对数增长，打破了无限精度下维度与 N 无关的结论。
📌 工作参考价值（4 点）
- 在电商推荐的大规模向量检索中，若采用标量量化或乘积量化压缩向量，随着商品库增长，需同步提升嵌入维度或量化精度，否则 top-k 检索的完备性会下降。
- 可根据理论关系 $Bd = \Omega(k\ln N)$ 评估当前系统的量化配置是否安全：给定 $N$、$k$ 和每个坐标的比特数 $B$，反推所需最小维度 $d$，作为系统扩展的参考。
- 在 Agent 或 RAG 场景中，若使用向量数据库存储外部记忆或工具描述，量化压缩策略需考虑检索任务复杂度（$k$ 的大小）与记忆条目数 $N$ 的乘积效应，避免精度不足导致的检索失败。
- 提示工程或检索增强流程中，若融合多个量化向量索引（如多级 PQ），推荐根据总比特预算 $Bd$ 分配资源，而非孤立压缩，以维持检索表达力。
BEATS：通过迭代人机协同，从零构建电商搜索属性体系
🧭 电商搜索 · 属性体系构建 · 人机协同 ★ 深度解读
National Taiwan University · Rakuten Group, Inc. · Taiwan Rakuten Ichiba, Inc. · Rakuten Asia Pte. Ltd.
将多模型LLM生成、合成与精炼与迭代人审结合，从无到有构建电商属性体系，显著改善搜索体验。
📌 工作参考价值（4 点）
- 从零构建电商属性体系的标准化流程：多源LLM生成候选属性→生成式合成合并→精炼去噪，再经开发人员预审与领域专家标注，迭代优化prompt。对于冷启动平台，可快速复制。
- 多模型集成思路：选用架构、训练数据、规模差异大的LLM（如GPT-OSS、Qwen3文本/视觉版）分别生成，通过多样性保证覆盖，合成模型统一规范。在电商属性生成中，不同模型各有所长（有的擅长技术参数、有的擅长使用场景）。
- 迭代prompt优化的技巧：根据质量检查与标注反馈，添加负面样例、调整粒度指令、引入类别上下文，并针对系统性错误升级精炼模型。第二轮接受率从89%飙升至99.88%，可直接复用这类迭代策略。
- 属性标注直接反哺搜索：利用生成的属性类型对商品进行结构化标注，无需预定义值集，即可丰富稠密检索的文本表示。在本实验中，仅凭属性文本增强，双塔稠密检索R@10提升5.7%，NDCG@10提升5.7%，零架构改动。
密集检索器的位置偏差是内置还是源自训练数据？
🧭 检索增强生成中的位置偏差分析
Sionic AI
通过控制训练数据中证据位置分布，发现位置偏差主要由训练数据偏斜导致，平衡训练可显著缓解偏差。
📌 工作参考价值（4 点）
- 训练数据平衡策略：在电商搜索/推荐召回模型训练中，刻意平衡正样本中关键信息的出现位置（如商品标题、描述的头部、中部、尾部），可减少模型对文档起始位置的过度偏好，提升长尾商品的召回机会。
- 评估基准设计：构建位置感知的评估集，检测线上召回服务是否存在位置偏差，尤其对 RAG 或基于文档的推荐场景，防止因信息靠后而被忽略。
- 微调阶段偏差矫正：微调预训练模型时，即使基础模型有内置的位置偏好，通过平衡的位置分布数据仍能有效重塑其行为，这对迁移学习到垂直领域（如法律、医疗文书）有指导意义。
- 多文档输入的结构化处理：在 Agent 多文档推理或 RAG 流水线中，可对输入文档进行预处理，如抽取关键段落重排或添加位置无关的提示，以降低下游任务受原始文档位置偏差的影响。
谱检索：基于 token 嵌入多尺度 sinc 卷积的局部化重排序
🧭 多尺度重排序 · 局部化检索 ★ 深度解读
Cisco Systems, Inc.
在 token 嵌入上施加多尺度 sinc 卷积，以 max-over-scales 聚合实现逐 token 至均值池的平滑插值，显著提升窄片段相关性召回
📌 工作参考价值（4 点）
- 无训练即插即用的重排序器：直接复用现有双塔模型的 token 级嵌入，只需在候选文档（K=100 左右）上做多尺度卷积+max聚合，代码量极小，不改变索引和召回阶段，适合快速上线。
- 多智能体角色感知检索：每个 agent 用同一 query encoder 但不同 prompt，谱检索可让同一份文档对不同 agent 产生差异化的高得分（安全 agent 看到漏洞段落，运营 agent 看到维护记录），丰富辩论输入，避免所有 agent 拿到相同 top-k。
- 与 ColBERT 正交互补：谱检索相当于单 query 向量版的 ColBERT，二者可堆叠；若已有 ColBERT 索引，可直接加多尺度卷积提升长文档中的局部匹配，成本仅增加 O(K·S·N·d)。
- 尺度网格选择简单：默认 {1,3,5,7,10,15,20,30} 覆盖窄到宽的相关性宽度，无需调参；对于电商中商品描述（短文本）可缩为 {1,3,5}，对于长法律/政策文档可增加 L=100 端点，计算开销线性增长。
HARNESS-LM: 赞助搜索检索下SLM的三阶段训练配方
🧭 赞助搜索检索 · 知识蒸馏与模型压缩 ★ 深度解读
Microsoft AI India
通过教师训练、ℓ2对齐和对比细化，将大检索模型能力迁移到轻量级在线查询编码器，并实现27×延迟降低与线上收益提升。
📌 工作参考价值（4 点）
- 三阶段解耦训练范式：广告检索或推荐召回场景可先训练一个不受延迟约束的强教师（大模型、多模态特征或LLM增强特征），再用ℓ2回归将轻量级查询塔对齐到教师查询空间，最后用业务数据对比微调，获得接近教师精度且满足在线延迟的模型。
- ℓ2对齐简单有效：无需标注数据，利用大量无监督查询日志即可将大模型的几何结构迁移到小模型，避免复杂的对比蒸馏损失或核对齐，在电商搜索、推荐序列等海量无标签语料上极易落地。
- 逐步剪枝再对齐：借鉴Ministral 3的级联压缩思路，逐层/逐FFN维度剪枝后重新对齐，可系统探索延迟-质量帕累托前沿；如从28层剪至4层仅损失1.1%精度，获得6×延迟缩减，适合需要多档位部署（如GPU/CPU）的业务场景。
- 对比细化恢复剪枝损失：冻结教师文档编码器后，用业务正负样本单独微调查询编码器，能有效弥补因压缩引起的精度下降（剪枝4层模型提升2.7 P@100），可作为快速迭代的轻量适配手段。